Trust Functions: Near-Lossless Weak-to-Strong Generalization by Learning When to Trust the Weak Teacher
通过学习何时信任弱教师实现近乎无损的弱到强泛化
🧭 弱到强泛化 · 数据选择 ★ 深度解读
Johns Hopkins University
提出神经信任函数，从教师内部表示预测弱标签正确性以过滤噪声，实现匹配甚至超越真值训练的弱监督泛化，并可通过迭代链滚雪球式提强。
📌 工作参考价值（4 点）
- 弱标签质量过滤：当业务中只有弱监督（如用户点击、规则伪标签）时，可训练一个小型神经网络，从强模型的隐层表示预测标签正确性，仅用高信任度样本训练主模型，大幅减少噪声。
- 隐式课程学习：信任函数倾向选择简单样本，形成从易到难的自然课程，有助于大模型稳定训练，可直接用于冷启动或样本不均衡场景。
- 迭代自我提升：将当前模型作为下一轮的“教师”，用信任函数筛选其输出作为新训练数据，逐步提升模型能力，类似自训练，但过滤机制能防止错误累积，适合在标注稀缺时扩增高质量训练集。
- 风险控制的数据选择：提供基于霍夫丁上界的阈值校准方法，只需少量标注数据即可自动确定高纯度子集，避免人工调参，适合自动化数据生产 pipeline。